AI Papers Daily

#Memory management

2 篇

ActKV: Efficient LLM Agents through Action-Guided KV Cache Management

ActKV：面向智能体LLM推理的动作引导KV缓存管理

🧭 Agent KV缓存压缩与推理优化

University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China

提出首个面向Agentic LLM推理的KV缓存压缩框架，以动作生成贡献度为准则压缩缓存

📌 工作参考价值（4 点）

• 动作导向的KV淘汰策略：在电商导购、购物助手等Agent推理循环中，可优先保留对后续动作（如商品检索、推荐API调用、订单操作）生成贡献大的KV条目，而非全局文本质量，降低缓存占用且不损失任务成功率。
• 置信度驱动的自适应预算分配：利用LLM生成动作时的内在置信度（如token概率）动态调整KV缓存预算，适配不同任务阶段对动作关键记忆的波动需求，可集成到现有Agent serving框架中提升长时多轮交互的吞吐。
• 页式压缩管理与定制内核：将缓存压缩抽象为淘汰、预算分配、页管理三个原语，并配合定制CUDA kernel实现实际吞吐提升，适合高并发场景下Agent推理服务的工程化落地。
• 评估指标转向动作质量：业务中应关注最终动作成功率和任务完成度，而非仅看文本生成困惑度或BLEU，ActKV的实验设计可借鉴到Agent/推荐对话系统的离线评测中。

Agent | 2026-09-25 | cs.AI | score 7/10

KV cacheLLM AgentsInference optimizationMemory managementAction-orientedCompression

PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization

PagedWeight：基于动态质量感知量化的高效 MoE LLM 推理

🧭 MoE 推理优化 · 动态量化

University of Illinois Urbana-Champaign

通过运行时动态量化 MoE 专家权重，在 KV 缓存压力下平衡精度与内存，最高节省 72% 显存并提升 1.94 倍吞吐

📌 工作参考价值（4 点）

• 在电商大模型（如多专家推荐、多任务模型）的推理部署中，可借鉴 PagedWeight 的动态量化策略：依据请求负载和剩余 KV 缓存空间，实时调整专家权重的量化精度，避免 OOM 同时保留推荐质量。
• 系统设计上，可引入“精度-内存-延迟”三维感知的调度器，类似 PagedWeight 的质量感知策略，在延迟约束下动态为不同专家分配不同位宽，相比静态均匀量化可大幅提高内存利用率。
• 当推荐模型规模膨胀到需要多 GPU 或 KV 缓存成为瓶颈时，权重的页式管理（paged offloading/quantization）思路可直接复用，通过将非活跃专家权重以低精度或卸载方式管理，降低常驻显存。
• 实验中表明，在同等显存预算下，PagedWeight 比强 baseline（如 GPTQ、AWQ）质量提升最高 39.3%，证明动态精度分配比固定量化有显著收益，业务中可优先考虑实现“按需精度”而非全局统一量化。

LLM | 2026-07-17 | cs.LG | score 7/10

MoEQuantizationKV cacheServingMemory management